三位一体：能力驱动的多模态智能体递归自改进
🧭 多模态 Agent 递归自改进
The Trinity Research Team
提出 Trinity 框架，通过 Creator/Explorer/Evolver 将任务重组为能力树，递归进化 Harness 并路由选择
📌 工作参考价值（4 点）
- 在电商/搜索/推荐的 Agent 工作流里，可以按底层能力需求而非业务场景（搜索、推荐、广告）来组织任务与模块：定期用已验证执行轨迹重新聚类任务，把“表面 query 分类”换成“能力树”，减少场景间重复建设。
- 借鉴 Capability-Driven Real2Sim2Real：用历史日志或仿真沙箱构造简化的可验证环境，让 Agent 先做离线能力学习，再在原任务上评估迁移；适合在推荐文案生成、Query 改写等高频能力上做低成本迭代。
- 参考 Harness 树 + Capability-Aware Router 的做法：维护一组可复用的 Harness/模块配置，不改动整体拓扑，只在固定拓扑内累积验证更新；再根据公开任务元信息（如 query 类型、商品类目）路由到不同模块组合，类似多任务 MoE 的轻量路由。
- 对具身或多模态业务场景，优先抽取共享能力做仿真训练，而不是为每个异构场景单独建环境；实测在 unseen benchmark 上仍有 26 分提升，说明能力抽象具备迁移性。
多模态具身智能体：从计算机使用到机器人使用的统一能力中心视角
🧭 多模态具身 Agent 能力框架与评测
Show Lab, National University of Singapore
提出 PAPAV 五功能框架，统一比较计算机使用与机器人智能体，揭示 Anticipate 与 Verify 评测缺失
📌 工作参考价值（4 点）
- 将推荐/搜索 Agent 按 Perceive、Anticipate、Plan、Act、Verify 拆解能力项，分别建立评估指标，而不是只看最终转化或任务成功，便于定位失败环节。
- 在生成式推荐或 query 改写中，显式引入“动作影响预判”和“结果校验”模块：生成候选前先做效果预估与风险检查，生成后主动验证用户反馈，弥补现有链路只优化 Act 的不足。
- 对自动操作类 Agent（如电商后台自动化、广告账户操作），可借鉴其按功能而非架构的评测思路，设计分能力测试集，尤其覆盖不可逆动作前的 Anticipate 与执行后的 Verify。
- 整体为框架综述，无具体算法可迁移；核心价值在评估维度与系统解耦思路，可作为 Agent 评测设计参考。
双考：多模态智能体与世界模型的受控评估
🧭 多模态 Agent 与世界模型评估
香港科技大学 · 新加坡国立大学 · 香港理工大学 · 东京大学 · 卡内基梅隆大学
提出 Dual Exam 框架，分别评估多模态 Agent 与世界模型，发现两者任务表现不均且耦合成功率低
📌 工作参考价值（4 点）
- 将 Agent 的动作选择与状态演化分开评估：在电商对话推荐、广告策略自动出价等场景中，先用固定环境响应测 Agent 决策，再固定动作序列测 World Model 预测，可解耦定位问题。
- 构建任务相关状态保持的专项 check：论文揭示 Agent 常丢失任务相关状态，实际推荐/搜索多轮对话中可加入状态保持测试用例，防止遗忘用户偏好、已选商品等关键上下文。
- 对于用 World Model 模拟用户反馈/市场响应的团队，需独立验证其 action-conditioned 预测准确率，不能仅靠端到端耦合成功率；150 例耦合实验零成功说明耦合评估会掩盖组件缺陷。
- 评测集设计采用“固定环境响应/固定动作干预”对照，可迁移到线上 Agent 评测系统，区分策略错误和模型预测错误，降低归因成本。
基于选择的结构化推理：迈向高效多模态搜索智能体
🧭 Agent推理效率优化·选择式结构化推理 ★ 深度解读
Apple · Carnegie Mellon University
将多模态搜索Agent的逐步推理从自由生成改为从候选库中并行选择，保持成功率且推理延迟降超90%
📌 工作参考价值（4 点）
- 在电商导购/搜索 Agent 中，把每轮规划从自由生成改成路由选择：预先定义 5-10 条高频决策候选，如“澄清需求 / 生成搜索 query / 比价 / 读图识别 / 基于证据作答”，让模型按上下文似然打分选择，再用选中候选引导 action 解码。这样能保留自然语言 guidance 的效果，同时规避自回归推理的延迟不可控。
- 工程上可直接复用“并行 prefill 打分”的做法：对候选文本做 teacher-forced logprob 计算，共享历史 KV cache，不需要额外分类头或 SFT warm-up；用 SGLang 的 logprob_start_len + max_new_tokens=0 可实现。候选库可离线维护，p95 延迟比自由生成稳定得多，适合在线流量。
- 训练层面，若用 RL 训练 Agent，可把“规划/路由选择”当作 categorical action，动作 token 保持常规 importance ratio；用 GRPO 更稳，GSPO/SAPO 多步更新时 selector-gradient 近似会损失精度，业务上可采用更多 rollout 或一次更新。
- 候选设计要注意两点：不要只打分 index，要打分完整自然语言文本的语义；库规模从 1 到 6 带来看得见的提升，所以可以先用日志聚类/高绩效轨迹总结出高频意图，再逐步扩展到 6-10 条。
HybridCUA：学习编排 GUI 与 CLI 的计算机使用智能体
🧭 Agent 多模态交互与工具编排 ★ 深度解读
Zhejiang University · Peking University · Tsinghua University
通过统一 bash 动作空间与 CLI-aware 奖励，让 CUA 学会何时用 CLI、如何可靠执行，OSWorld 准确率 53.6% 且步骤减半
📌 工作参考价值（4 点）
- 工具接口统一化：在电商导购 Agent 中，把点击/输入等 GUI 操作与搜索 API、筛选工具统一成同一种 action（如 execute），模型只需学习一个动作语法，降低调度复杂度；本论文统一 bash action 比分开 GUI/CLI tools 高 7.2 个百分点。
- 显式奖励工具选择：对 Agent 的工具使用做两层 reward——任务级根据标签奖励“是否选择了合适的工具”（如该用 API 批量操作时不用 GUI 一步步点），步级惩罚执行失败（如 API 参数错误、SQL 出错），比只给最终成功奖励更能塑造高效且可靠的行为。
- 混合数据构造：从单一 GUI 轨迹转换成等价 CLI 命令并重放验证，可低成本生成混合工具使用数据，不必从头收集。电商场景可以把已有“点击操作”轨迹改写为“调用搜索/下单 API”轨迹，保留成功回放，用于 SFT 温启动。
- SFT+在线 RLVR 两段训练：先 SFT 混合轨迹让模型学会工具切换，再用可验证奖励在线微调，能同时提升任务完成率和降低交互步数（步骤减少 29.3%）。适用于电商 Agent 的购物任务、订单处理等可验证场景。
VibeWorlding：多模态智能体能端到端构建3D开放世界吗？
🧭 多模态 Agent 3D 世界构建
AI Thrust, HKUST(GZ) · TEG AIPD, Tencent
提出 VibeWorlding 基准与训练框架，用多模态 RL 让开源 MLLM 在 3D 开放世界构建任务上超越闭源前沿模型。
📌 工作参考价值（4 点）
- rubric-based verifier 可迁移到 agent 闭环评估：把奖励分解为“可行性”和“意图满足”两类维度，用规则检测器（如碰撞检测）和 LLM 评分结合，能低成本扩展为 RL reward service，适合需要自动化评估长轨迹 agent 的场景。
- MCP 工具化沙箱：将检索、编辑、渲染等异构工具统一为 MCP 接口，方便 agent 调用并与 RL 训练环境解耦；可直接复用到商品图片生成、页面布局、活动落地页等 agent 工作流。
- 反向合成数据降低标注成本：人工构建少量种子世界，再反向生成大量多样化用户查询，可迁移到电商场景生成“意图→页面/推荐”训练对，减少人工标注。
- RL post-training 可针对性突破能力瓶颈：当闭环评估显示模型在特定环节（如编辑）弱，针对性 RL 训练能让开源模型超越闭源前沿，提示针对业务闭环的 agent RL 值得投入。
全能科学家：全模态全学科AI科学家
🧭 自主科研多代理 · 多模态感知
National University of Singapore · University of Oxford
端到端多模态AI科学家，从原始异构证据直接完成研究全流程，感知层让论文质量显著提升
📌 工作参考价值（4 点）
- 在推荐/搜索Agent中，让LLM直接感知原始多模态证据（商品图、视频、音频、评论原声）而非只接收预计算标量特征，可以保留空间/时间/跨通道关系，提升推荐解释或商品描述的事实一致性。
- 采用“ideation-experiment-writeup”三代理分工结合确定性管道，把生成任务拆为提案、执行、总结，可迁移到自动化选品、广告文案实验、营销报告生成等场景。
- 借鉴“idea/rigour/claim checks”代码执行校验：对LLM生成的推荐文案、结论做可执行验证，例如数值引用检查、统计显著性检查，增强输出可信度和可追溯性。
- 感知层与代理解耦的设计，便于在商品知识图谱构建、多模态商品理解等业务中逐步引入多模态原始数据。
SpatialWorld：多模态Agent真实世界交互式空间推理基准
🧭 多模态Agent · 交互式空间推理评测
Tsinghua University · Chongqing University · Peking University · ZenoMind AI · Xi’an Jiaotong University
构建统一基准评估多模态Agent在真实任务中的交互式空间推理，集成8个模拟器、760个人工任务，最强模型成功率仅17.4%
📌 工作参考价值（4 点）
- 统一评估层协议（simulator-agnostic, text-based action interface）可借鉴到多模态Agent评测 pipeline，屏蔽底层仿真差异，聚焦决策能力。
- 任务设计强调 partial observability 与主动探索，类似推荐系统中用户意图不明确时的多轮对话，可参考其“基于当前观察逐步求索”的交互范式。
- 终态验证器（terminal-state verifier）提供可复用的自动化评判模板，用于评估推荐Agent的最终目标达成（如购物车完成态）。
- 主要为学术基准，业务可借鉴点多在评估框架设计，空间推理本身在电商直接应用有限。
超越文本的智能体技能：引入视觉先验实现可复用多模态技能
🧭 Agent 多模态视觉技能复用 ★ 深度解读
Peking University · University of Wisconsin · MIT-IBM Watson AI Lab
指出纯文本技能在视觉任务中存在空间信息瓶颈，提出结合文本规则与视觉先验的可复用多模态技能范式 VISUALSKILL 及自动生成流水线 AutoVisualSkill。
📌 工作参考价值（4 点）
- GUI 自动化与电商平台操作：将常用控件的空间布局、点击区域等制作为静态视觉先验（如按钮模板、热区图），与文本规则绑定，可显著提升 Agent 在网页/App 上的定位精度，类似思路可用于商品页面自动化测试、数据采集。
- 密集计数与货架管理：在库存盘点、货架商品计数等场景，采用动态视觉锚点将已计数对象做可视化标记并反馈给模型，形成外部空间工作记忆，有效减少重复计和漏计。
- 可复用技能库构建：借鉴 VISUALSKILL 的分离式设计，将业务规则（文本）与视觉参考（截图、布局原型）打包为可检索、可组合的技能单元，降低对新模型的尺寸敏感度，方便技能跨任务迁移。
- 自动技能生成流水线：AutoVisualSkill 的诊断门控和双轨生成方法可用于自动判断任务是否需要视觉支撑，并将少量示例转化为通用视觉协议，适合大规模构建面向电商运营、广告设计等视觉密集型任务的 Agent 技能库。
AgenticVBench：评估视频后期制作中多模态 AI 代理的基准
🧭 多模态代理 · 视频后期制作基准 ★ 深度解读
Philo Labs Research
首个覆盖视频后期全流程的代理基准，揭示脚手架设计对代理性能的一阶影响
📌 工作参考价值（4 点）
- 脚手架（harness）是一阶变量：同一模型在不同脚手架下的得分差距可达20个百分点。在构建电商/Agent系统时，应像重视模型选型一样重视底层工具链和规划循环的设计。
- 为多模态代理提供专用工具原语：OpenClaw提供的image、tts、video_generate等类型化原语在Sequencing任务中胜出，而通用shell工具使模型在Assembly上表现差。构建电商视频处理或广告合成的Agent时，应封装高层级、参数化的多模态操作，而非让模型从零编写ffmpeg命令。
- 代理失败模式分析指导工程方向：Repurpose任务中83%的失败源于长上下文信息丢失，Repair中24%由模态错位导致。在电商场景中，类似的产品视频压缩或修复任务应优先设计更鲁棒的长期记忆和跨模态对齐机制。
- 基准设计覆盖真实工作流：任务源于20位行业专家的日常流程，涉及0.5小时到一周的人力耗时。这种设计方法可迁移到电商售后、内容生成等Agent任务的真实度校验——从从业者工作流出发定义任务和评分标准，避免脱节。
MMSkills：面向通用视觉智能体的多模态技能框架
🧭 视觉智能体 · 多模态技能复用
Shanghai Jiao Tong University · Xiaohongshu Inc. · Southeast University
提出多模态技能包（状态卡片+关键帧+文本过程），并通过分支加载机制提升视觉Agent决策。
📌 工作参考价值（4 点）
- 可借鉴多模态技能包构建方式：将电商操作流程（如商品搜索、下单）封装为文本过程+关键状态截图+状态描述卡片，减少Agent推理时的图像上下文开销。
- 利用非评测的用户交互轨迹（如公开的购物会话）自动生成可复用技能库，通过工作流分组和视觉接地减少人工标注成本。
- 分支加载机制可集成到电商Agent中：在临时上下文里对比当前界面与技能包中的关键帧，对齐状态后才给出操作建议，避免直接参考静态截图导致的过锚定。
- 多模态过程知识对外部技能库的补充思路，可推广到生成式推荐中的多模态用户意图理解，用类似状态卡片描述用户当前搜索上下文。